Towards Explaining Query Expansion Performance in Information Retrieval
解释信息检索中查询扩展性能的框架
🧭 QueryRec · 查询扩展可解释性 ★ 深度解读
Indian Statistical Institute · IIT Bombay · IIT Bhilai
提出理想扩展查询与可分性两个视角，系统解释查询扩展性能差异，验证相似度与检索效果正相关
📌 工作参考价值（4 点）
- 可用理想查询作为离线评估扩展质量的参考：若有小规模标注（如电商搜索点击/相关标注），可构造近似理想查询，度量 LLM 生成的扩展词/改写 Query 与理想查询的余弦相似度，作为自动评估指标，避免昂贵的在线实验。
- 使用 separability（Cohen's d）快速评估扩展 Query 质量：在标注子集上计算相关商品与不相关商品得分的分离度，与线上效果相关性高，可用于 A/B 测试前的快速筛选或模型迭代中的监控指标。
- 诊断 LLM 生成查询扩展失败：当 LLM 生成的扩展词效果不好时，检查其是否缺少关键 term 或权重不当；可尝试用 DFO/LS 方法从标注数据中学习理想权重，反过来指导生成或后处理，例如对 LLM 生成的扩展词重新加权。
- 注意负权重处理：LS 理想查询含负权重，但 BM25 优化（如 Lucene）不支持负权重，实际系统中需截断或用支持负权重的检索器。